我们探讨各种塑性功能对神经元组件的影响。为了弥合实验和计算理论之间的差距，我们利用概念框架，组装微积分，这是基于神经元组件的脑功能描述的正式系统。组装计算包括用于突出，关联和合并神经元组件的操作。我们的研究专注于模拟不同的可塑性功能，使组装微积分。我们的主要贡献是对投影操作的修改和评估。我们试验OJA和Spike时间依赖的可塑性（STDP）规则并测试各种超参数的效果。
translated by 谷歌翻译
使用本机LUT作为独立培训推理运营商的FPGA特定的DNN架构已被证明实现了有利的区域准确性和能量准确性权衡。该领域的第一个工作Lutnet，对标准DNN基准测试表现出最先进的性能。在本文中，我们提出了学习的基于LUT的拓扑结构的优化，从而导致更高效率的设计，而不是通过直接使用现成的手工设计的网络。本类架构的现有实现需要手动规范的每拉特的输入数，K。选择合适的k先验是具有挑战性的，并且在甚至高粒度下这样做，例如，如此。每个层，是一种耗时和错误的过程，可以留下FPGA的空间灵活性欠缺。此外，先验工作请参阅随机连接的LUT输入，不保证网络拓扑的良好选择。为了解决这些问题，我们提出了逻辑收缩，一种细粒度的网格剪枝方法，使K将自动学习，用于针对FPGA推理的神经网络中的每一个LUT。通过删除确定为低于重要性的LUT输入，我们的方法会增加所得加速器的效率。我们的GPU友好的LUT输入拆卸解决方案能够在培训期间加工大型拓扑，可忽略不计的放缓。通过逻辑收缩，我们可以分别更好地完成CNV网络的最佳Lutnet实现的区域和能源效率，分别将CIFAR-10分别达到1.54倍和1.31倍，同时匹配其精度。该实现也达到2.71倍的区域效率同样准确，严重修剪的BNN。在具有双重净架构的Imagenet上，逻辑收缩的就业导致综合后面积减少2.67倍VS Lutnet，允许以前在今天最大的FPGA上实现的实施。
translated by 谷歌翻译
日益复杂的机器学习模型的不断增长的计算需求通常需要使用强大的基于云的基础架构进行培训。已知二元神经网络由于其极端的计算和内存节省了更高精确的替代方案，因此有望进行现场推断。但是，他们现有的训练方法需要同时存储所有层的高精度激活，这通常使在内存受限的设备上学习不可行。在本文中，我们证明了二进制神经网络训练所需的向后传播操作对量化非常强大，从而使现代模型的现场学习成为实用命题。我们介绍了一种低成本的二元神经网络训练策略，该策略表现出相当大的记忆范围减少，同时几乎没有准确的损失与Courbariaux＆Bengio的标准方法。这些减少主要是通过仅以二进制格式保留激活来实现的。在后一种算法上，我们的置换替换量看到记忆需求减少3--5 $ \ times $，同时在可比时间内达到相似的测试准确性，这些型号跨越了一系列经过培训的小型模型，用于对流行数据集进行分类。我们还展示了对二进制RESNET-18的从划痕成像网训练，并实现了3.78 $ \ times $减少内存。我们的工作是开源的，包括覆盆子Pi靶向原型，我们用来验证建模的内存降低并捕获相关的能量滴。这样的节省将避免不必要的云下载，减少延迟，提高能源效率和保护最终用户的隐私。
translated by 谷歌翻译